AI Papers Daily

#Muon Optimizer

2 篇

LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes

LLaDA-Image：全开放训练配方构建强大图像生成器

🧭 图像生成 · 开放训练配方

AGI Research Center, Inclusion AI

从零训练6B DiT图像生成模型，开源权重与代码，在Qwen-Image-Bench双榜达到开源SOTA

📌 工作参考价值（4 点）

• 电商商品图/广告素材生成：可借鉴其 image-only pre-training 策略，先利用海量无标注商品图构建视觉生成先验，再做文本对齐，降低对配对图文数据的依赖。
• 训练效率优化：parameter-free RMSNorm 搭配 Muon optimizer 替换 LayerNorm/Adam，可减少显存占用并提升大模型收敛稳定性，适合在自研 DiT 或生成式推荐模型中试验。
• 推理加速：TwinFlow 蒸馏至 2-4 步采样，可用于实时商品素材生成、Agent 内图像生成模块的低延迟部署。
• 数据配方参考：220M 训练样本中 98% 为真实图像，说明高质量真实数据是生成质量的关键，电商可加强商品图质量治理并充分利用 UGC 素材。

Multimodal | 2026-09-02 | HF Daily | score 6/10

Diffusion TransformerImage GenerationTraining RecipeMuon OptimizerRMSNormOpen Source

Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts

一步一步扩展：大规模混合专家模型的计算高效超参数迁移

🧭 大规模MoE训练超参数迁移

Kakao Corp. · Upstage AI

提出计算高效的两步超参数迁移框架，通过宽度缩放迁移与token外推预测大规模MoE最优学习率

📌 工作参考价值（3 点）

• 在训练大规模 MoE 推荐/广告模型时，可采用 μP 参数化 + 宽度缩放代理模型快速确定学习率，避免对完整尺寸模型做昂贵的超参扫描。对于需要频繁调整专家数量或模型宽度的业务，μP 让最优 LR 在不同宽度间稳定迁移，显著降低调参成本。
• 利用小代理模型在有限 token 预算下的 LR 扫描结果，通过线性回归外推到生产模型的超长训练 horizon（如 10T tokens），R²=0.95 表明该迁移对 MoE 架构高度可靠。训练 infra 团队可据此搭建低成本 proxy 流程，预测大模型最优配置。
• 若业务落地 DeepSeek-V3 类 MoE 架构（含 Multi-head Latent Attention 和 Muon optimizer），需同步引入对应的 μP 适配，否则学习率等配置无法跨模型尺寸复用。工程上应把参数化与优化器选择固化进训练代码，保证迁移性。

Training | 2026-08-20 | cs.LG | score 7/10

MoEHyperparameter TransfermuPScaling LawsMuon OptimizerLearning Rate